Candidate sentence selection for language learning exercises: from a comprehensive framework to an empirical evaluation

We present a framework and its implementation relying on Natural Language Processing methods, which aims at the identification of exercise item candidates from corpora. The hybrid system combining heuristics and machine learning methods includes a number of relevant selection criteria. We focus on two fundamental aspects: linguistic complexity and the dependence of the extracted sentences on their original context. Previous work on exercise generation addressed these two criteria only to a limited extent, and a refined overall candidate sentence selection framework appears also to be lacking. In addition to a detailed description of the system, we present the results of an empirical evaluation conducted with language teachers and learners which indicate the usefulness of the system for educational purposes. We have integrated our system into a freely available online learning platform. RÉSUMÉ. Nous proposons un système de traitement automatique de la langue ayant pour but l’identification de phrases candidates tirées de corpus. Le système hybride allie une approche heuristique à des méthodes d’apprentissage automatisé et intègre un nombre de critères de sélection pertinents. Nous nous concentrons sur deux aspects fondamentaux : la complexité linguistique et la dépendance des phrases extraites envers leur contexte d’origine. Les travaux antérieurs en génération automatique d’exercices n’ont porté sur ces deux critères que de façon limitée, et un cadre fin de sélection de phrases candidates semble également faire défaut. En plus d’une description détaillée du système, cet article rapporte les résultats d’une évaluation empirique réalisée avec des enseignants de langues et des apprenants portant sur l’utilité du système à des fins éducatives.